網路爬蟲(Web Crawler 或 Web Scraping),也可以叫它網路資料擷取(Web Data Extraction),是一個透過程式自動抓取網站資料的過程,並且將抓取後的資料整理成有用的資訊。
我們生活在一個大數據的時代下,隨便上網google想要尋找的資料,都能跑出成千上萬筆資料,如果只有簡單的幾筆資料我們可以慢慢整理出有用的資訊,但是當遇到太多的資料時,根本不可能逐筆逐筆的閱讀,所以使用網路爬蟲的方法,就能幫助我們快速的從網站中取出非表格或結構不佳的資料,並且轉換成可以使用的結構化資料,像是轉換成資料庫、Excel試算表、CSV檔案。